Phường Ngọc Xuân trước đây vốn là một phần tiểu khu Sông Bằng thuộc thị xã Cao Bằng.

Ngày 10 tháng 9 năm 1981, giải thể tiểu khu Sông Bằng để thành lập phường Sông Bằng và xã Ngọc Xuân.[3]

Ngày 1 tháng 11 năm 2010, thành lập phường Ngọc Xuân trên cơ sở toàn bộ 685,27 ha diện tích tự nhiên và 5.937 người của xã Ngọc Xuân.[1]

Đến năm 2019, phường Ngọc Xuân được chia thành 17 tổ dân phố, đánh số từ 1 tới 17.

Ngày 9 tháng 9 năm 2019, sáp nhập tổ dân phố 2 vào tổ dân phố 1, sáp nhập hai tổ dân phố 3 và 4 thành tổ dân phố 2, đổi tên tổ dân phố 5 thành tổ dân phố 3, đổi tên tổ dân phố 6 thành tổ dân phố 4, sáp nhập hai tổ dân phố 7 và 15 thành tổ dân phố 5, đổi tên tổ dân phố 10 thành tổ dân phố 6, sáp nhập hai tổ dân phố 9 và 11 thành tổ dân phố 7, sáp nhập hai tổ dân phố 12 và 13 thành tổ dân phố 9, sáp nhập ba tổ dân phố 14, 16 và 17 thành tổ dân phố 10.[4]